Hoàng Nghĩa Mai là học viên khóa 6 Trường Cán bộ kiểm sát trung ương.[1]

Năm 2008, 2009, Hoàng Nghĩa Mai là Phó Viện trưởng Viện kiểm sát nhân dân tối cao Việt Nam.[2][3]

Từ năm 2011 đến năm 2013, Hoàng Nghĩa Mai là Phó Viện trưởng Thường trực Viện kiểm sát nhân dân tối cao Việt Nam.[4][5]

Kể từ ngày 1 tháng 1 năm 2014, Hoàng Nghĩa Mai thôi giữ chức vụ Phó Viện trưởng Thường trực Viện kiểm sát nhân dân tối cao Việt Nam và được Ban Bí thư Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam điều động làm trợ lý của ông Lê Hồng Anh, Ủy viên Bộ Chính trị Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, Thường trực Ban Bí thư Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam (theo Quyết định số 998-QĐ/TW ngày 12/12/2013 của Ban Bí thư Trung ương Đảng Cộng sản Việt Nam).[6][7]

Tháng 3 năm 2014, Hoàng Nghĩa Mai là Ủy viên Thường trực ban soạn thảo Về sửa đổi các quy định của Bộ luật tố tụng hình sự, Trợ lý của ông Lê Hồng Anh.[8]

Ngày 26 tháng 3 năm 2018, Chủ tịch nước Việt Nam Trần Đại Quang kí quyết định số 464/QĐ-CTN trao tặng cho Hoàng Nghĩa Mai Huân chương Độc lập hạng Ba với lí do "Đã có thành tích đặc biệt xuất sắc trong quá trình công tác, góp phần vào sự nghiệp xây dựng chủ nghĩa xã hội và bảo vệ Tổ quốc".[9][10]